V tehnološko bitko tudi nov model prebežnice iz OpenAI

Razvijalec umetne inteligence Thinking Machines Lab, ki ga je februarja lani ustanovila nekdanja tehnološka direktorica in za kratek čas vodja OpenAI Mira Murati, je izdal svoj prvi model. Ta sliši na ime inkling in je delno odprte narave, saj je start up objavil parametre za njegovo urjenje.

“Inkling sklepa na podlagi besedila, slik in zvoka ter uravnava stroške in zmogljivost z učinkovitim in nadzorovanim razmišljanjem. Usposobili smo ga kot širok, uravnotežen temeljni model: močan na številnih področjih in dovolj prilagodljiv. Inkling je šele začetek: je naša prva izdaja v družini modelov, na kateri bomo še naprej gradili,” so zapisali pri podjetju iz Silicijeve doline. Uporabniki lahko z njim komunicirajo prek besedil, slik ali zvoka, odgovoril pa bo z besedilom.

Uporabniki lahko inkling v skladu s svojimi potrebami tudi prilagajajo prek aplikacijskega programskega vmesnika (API) Tinker. V laboratoriju so poudarili, da ne gre za najbolj zmogljiv model na trgu ta trenutek, je pa med najbolj zmogljivimi modeli z odprtimi obtežitvami (open-weight, angl.). To so modeli, ki imajo javno dostopne parametre usposabljanja, ne pa tudi korpusa podatkov, na katerih so se urili (open-source, angl.).

Inkling ima 75 milijard parametrov, od tega 41 milijard aktivnih, ki jih uporabi pri odzivu. Usposobljen je bil na 45 tisoč milijardah žetonov besedila, slik, zvoka in videa. Poleg inklinga so pri Thinking Machines Lab uporabnikom omogočili predogled manjšega modela inkling small z 12 milijardami aktivnih parametrov. Zgodnji rezultati kažejo, da je inkling small pri nalogah sklepanja in agentnih nalogah blizu ravni inklinga, kar pri podjetju pripisujejo izpopolnjenim podatkom za usposabljanje.

Kaj zmore nov model

Inkling je zasnovan kot tako imenovani splošni model. “Usposobili smo ga za naloge, ki zajemajo agente, sklepanje, kodiranje, sledenje navodilom, faktografijo, vid in zvok, namesto da bi ga ozko optimizirali za eno področje. Ta širina je pomembna za prilagajanje in uporabo v resničnem svetu: različni uporabniki potrebujejo modele, ki se lahko prilagodijo zelo različnim delovnim procesom, ne le da blestijo v primerjalnih testih,” so zapisali pri Thinking Machines Lab.

Kot agent za kodiranje je inkling na primer zmožen postaviti spletno aplikacijo in narediti asistenta umetne inteligence, prek katerega lahko uporabnik v naravnem jeziku prilagaja in upravlja to aplikacijo. V primerjavi z drugimi modeli na trgu se je inkling uvrstil v zgornjo sredino pri snovanju spletnih aplikacij, a je bil eden najboljših open-weight modelov – zaostal je le za novim kitajskim modelom GLM 5.2 razvijalca z.ai, ki že privablja pozornost Silicijeve doline.

Inkling zna izdelati vsebino, ki združuje besedila in slikovni material. Kot demonstracijo je laboratorij objavil devet strani dolg potovalni dnevnik o različnih zajtrkih po svetu. Razvijalci so model zadolžili tudi za izpopolnjenje spletne igre kača za več igralcev.

Točnost in varnost

Razvijalci so model usposobili za kalibracijo, sledenje navodilom in odpornost proti cenzuri, kar imenujejo “epistemika” modela. Kot pravijo v podjetju, je za pravilno razumevanje dejstev potrebno več kot le pomnjenje velikega obsega znanja – model mora izražati tudi pravo mero zaupanja v svoje odgovore, tudi pri vprašanjih, kjer odgovor ni enoznačen.

Ta sposobnost je še posebej pomembna pri napovedovanju izidov, kjer so kalibrirani modeli po navedbah podjetja v zadnjem času prehiteli napredne velike jezikovne modele, kot so modeli OpenAI ali Anthropica.

Na več področjih so ocenili tudi varnost inklinga, v času, ko tekmec Anthropic svari pred zmožnostmi svojih naprednih modelov fable in mythos za kibernetske napade, pozorne pa so postale tudi države po svetu.

Thinking Machines Lab je za oceno varnosti najel zunanje preizkuševalce in opravil interne ocene. Ugotovili so, da njihov model kaže “najmočnejše vgrajene zaščitne ukrepe od vseh modelov z odprtimi obtežitvami”. Testirali so ga z dvema meriloma (Fortress in StrongREJECT), ki preizkušata, ali model zavrne zahteve, ki so povezane z nasiljem, orožjem ali so kako drugače škodljive, pa tudi, če pri tem pomotoma zavrne neškodljive zahteve.

Lani do dveh milijard dolarjev

Kot smo pisali, je Thinking Machines Lab junija lani po le pol leta obstoja zaključil enega največjih začetnih krogov financiranja v zgodovini Silicijeve doline. V njem so zbrali dve milijardi dolarjev od vlagateljev, med katerimi so bili ameriška družba tveganega kapitala Andreessen Horowitz (kot vodilni vlagatelj), proizvajalca čipov Nvidia in AMD, tehnološka družba Cisco in finančni velikan Jane Street.

S to naložbo je podjetje doseglo tržno vrednost 12 milijard dolarjev.

Murati je svoje podjetje ustanovila po odhodu iz OpenAI septembra lani. Pri enem vodilnih razvijalcev umetne inteligence, ki stoji za modeli serije GPT, se je zaposlila leta 2018 in štiri leta pozneje postala tehnološka direktorica. Nato je konec leta 2023 prišlo do drame v vrhu podjetja, ko je uprava odstavila glavnega izvršnega direktorja Sama Altmana. Murati je za kratek čas prevzela vodenje podjetja, dokler se Altman ob posredovanju Microsofta in s podporo Murati ni znova vrnil na položaj.

Po odhodu ji je v nov projekt sledilo okrog 20 raziskovalcev iz OpenAI, privabila pa je tudi kadre iz podjetij, kot sta lastnik družbenih omrežij Meta Platforms in evropski razvijalec umetne inteligence Mistral AI.

Thinking Machines Lab si za poslanstvo zadaja zgraditi umetno inteligenco, ki bo podaljšek človeške volje in presoje. “Umetna inteligenca lahko vsak dan naredi več, vendar je odločitev, kaj naj počne, odvisna od nas: posameznikov, organizacij, človeštva kot celote. Te odločitve zahtevajo znanje in presojo, ki jo ljudje pridobijo z nenehnim stikom z delom, ki se vse bolj opravlja skupaj z umetno inteligenco,” so zapisali.